Karl I sinh tại Persenbeug, Áo, là con trưởng của Hoàng tử Otto (em trai ruột của Thái tử Franz Ferdinand của Áo) và là cháu nội của hoàng tử Karl Ludwig (em trai ruột của Hoàng đế Franz Joseph I của Áo). Chính vì thế, Karl I gọi Hoàng đế Franz Joseph I là ông bác. Sau khi người bác ruột của ông là Hoàng thái tử Franz Ferdinand bị ám sát tại Sarajevo (xem Vụ ám sát Thái tử Áo-Hung), và hoàng đế Franz Joseph qua đời vào năm 1916, Karl lên ngôi hoàng đế, trong bối cảnh đế quốc Áo-Hung đang tham gia Chiến tranh thế giới thứ nhất.